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Beschreibung 

Verfahren zur Navigation in 3-dimensionalen Bilddaten 

5 Die Erfindung betrifft ein Verfahren zur Navigation in 3- 
dimensionalen elektronischen Bilddaten. 

Elektronische Bilddaten in mehr als zwei raumlichen 
Dimensionen (2D) finden weit verbreitet fur 
10 unterschiedlichste Anwendungszwecke Verwendung. Bilddaten in 
drei raumlichen Dimensionen (3D) werden zum Beispiel fur 3D- 
Simulationen von Vorgangen, Design und Konstruktion von 
raumlichen Objekten und zur messtechnischen Erfassung und 
optischen Wiedergabe solcher Objekte. 

15 

Eine besondere Anwendung stellen Verfahren der bildgebenden 
Medizintechnik dar, wo Patientenkorper , zum Beispiel anhand 
radiologischer Bildgebungsverf ahren, 3-dimensional untersucht 
und die 3D-Untersuchungsdaten fur weitere 

20 Verarbeitungsschritte erfasst werden. In der Diagnostik 
konnen dabei zum einen untersuchte Korpervolumina von 
besonderem Interesse, so genannte Hot Spots, identif iziert 
werden. Als Hot Spots werden in der Nuklearmedizin 
Bildbereiche mit erhdhter Intensitat bezeichnet, die auf das 

25 Vorhandensein eines Tumors in dem Bereich hindeuten (erhohte 
Gewebeaktivitat) . Zum anderen konnen 3D-Bilddaten desselben 
Korpers aus verschiedenen Bildgebungsverf ahren in einer 
gemeinsamen Darstellung zusammengef uhrt werden, ein Vorgang, 
der Fusion genannt wird, urn einen inf ormativeren, 

30 aussagekraf tigeren Bilddatensat z zu erhalten. Bei der Fusion 
konnen Daten von Hot Spots eine besondere Rolle spielen, da 
sie es ermoglichen, die Bilddaten ebendieser Korpervolumina 
aus einem Bildgebungsverfahren im Kontext der Bilddaten eines 
anderen Bildgebungsverf ahrens zu betrachten. Ein derart 

35 fusionierter Bilddatensatz enthalt die Hot Spots als 
besonders kennzeichenbaren Teil-Bilddatensat z . 
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Ein Beispiel hierfur kann zum Beispiel die Fusion von 
Bilddaten aus einer Positronen-Emissions-Tomograf ie (PET) und 
einer Computer-Tomograf ie (CT) sein. Die PET-Daten stellen 
einen diagnos tischen Datensatz dar, der Information liber 
5 bestimmte Stof fwechsel-Funktionen des Patientenkorpers 
beinhaltet und daher auch als funktionale Bilddaten bzw. 
funktionaler Datensatz bezeichnet wird. PET-Daten bilden im 
wesentlichen Weichteile ab. Die CT-Daten bilden dagegen auch 
anatomische Merkmale, wie Knochenbau, des Patientenkorpers ab 
10 und ermoglichen einem Betrachter daher eine deutlich bessere 
Orientierung anhand der Anatomie des Patienten. Eine Fusion 
der funktionalen PET-Daten mit den CT-Daten erleichtert daher 
wesentlich die anatomische Zuordnung von mittels PET 
identif izierten Hot Spots. 

15 

Ein besonderes Problem 3D-Bilddaten samtlicher Anwendungen 
liegt in den begrenzten optischen Darstellungsmoglichkeiten . 
Ublicherweise werden 2D-Darstellungsgerate verwendet, in der 
Regel Computer-Bildschirme, die nur eingeschrankte 

20 Moglichkeiten der Visualisierung in 3D bieten. Bekannt sind 
zum Beispiel perspektivische Darstellungen, Schnittbilder 
durch Ebenen des darzustellenden Objektes oder rotierende 
Darstellungen des entweder teilweise transparent oder 
vollstandig kompakt visualisierten Objektes. Fur die 

25 Visualisierung von 3D-Objekten steht eine Reihe von Techniken 
zur Verfiigung, die in der beschriebenen Weise eingesetzt 
werden kbnnen, und die als Volume Rendering Technic (VRT, 
„Volumen-Wiedergabe-Verfahren u ) bezeichnet werden. Unter 
anderem kann eine Maximum Intensity Projection (MIP) 

30 eingesetzt werden, die jeweils den hellsten Bildpunkt entlang 
r jedem vom (virtuellen) Betrachter aus durch das 3D-Objekt 

gehenden Sehstrahl als 2D-Proj ektions-Bildpunkt definiert. 
Oder es kann eine Multi-Planare Ref ormatierung (MPR) 
vorgenommen werden, bei der unterschiedliche 2D-Projektionen 

35 des Objekts dargestellt werden, zum Beispiel zu einander 
senkrechte Projektionen . 
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Die begrenzten optischen Darstellungsmoglichkeiten fur 3D- 
Bilddaten erschweren zum einen die Orientierung in den 
dargestellten Objekten, da dem Betrachter die Tiefen- 
Information nicht unmittelbar zuganglich ist, und damit 
einhergehend zum anderen die Navigation innerhalb der Daten. 
Dieses Problem stellt sich bei der Betrachtung, 
beispielsweise in der diagnostischen Auswertung, wie bei der 
Erzeugung, beispielsweise in der 3D-Konstruktion, 
gleichermaften . 

In der medizinischen Diagnostik gibt es Verfahren, die fur 
die Navigation ein rotierendes MIP eines funktionalen 
Datensatzes verwenden. Der Nachteil daran ist, dass die 
anatomische Zuordnung dadurch noch nicht immer eindeutig ist, 
zum Beispiel dann, wenn zwei Hot Spots sehr dicht beieinander 
liegen. Deswegen erfordert diese Verfahren ein zweistufiges 
und damit umstandliches Vorgehen: Erst wird auf dem 
rotierenden MIP eine Schnittebene durch den interessierenden 
Hot Spot gelegt (ID-Information), dann muss dieser Schnitt 
zusatzlich dargestellt und darin die Position des Hot Spots 
bestimmt werden. Erst dann liegt die 3D-Inf ormation liber die 
Position vor. 

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur 
Navigation in 3D-Bilddatensatzen anzugeben, das das Auffinden 
und Bestimmen der 3D-Position von 3D-Teil-Bilddatensatzen von 
besonderem Interesse sowie deren Visualisierung erleichtert. 

Die Erfindung lost diese Aufgabe wie folgt: 

Ein Grundgedanke der Erfindung besteht darin, ein Verfahren 
zur Navigation in 3-dimensionalen elektronischen 
Bilddatensatzen zu schaffen, bei dem die Bilddatensatze 3- 
dimensionale Teil-Bilddatensatze enthalten. Das Verfahren 
umfasst folgende Verf ahrensschritte : 

- Optisches Darstellen von mindestens einer 2-dimensionalen 
Projektion eines Bilddatensatzes , die eine 2-dimensionale 
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Teil-Projektion von mindestens einem Teil-Bilddatensatz 
umf asst, 

- Optisches Hervorheben der mindestens einen 2-dimensionalen 
Teil-Projektion, 

5 - Empfangen einer auf die Auswahl einer bestimmten Teil- 
Projektion gerichteten Nutzer-Eingabe und 

- in Abhangigkeit von der Nutzer-Eingabe optisches Darstellen 
von mindestens einer weiteren 2-dimensionalen Projektion 
des Bilddatensatzes, die eine 2-dimensionale Projektion des 

10 ausgewahlten Teil-Bilddatensatz umfasst. 

Dadurch ergibt sich der Vorteil, dass ein Nutzer anhand einer 
herkommlichen 2-dimensionalen Projektion einen Teil- 
Bilddatensatz besonderen Interesses auswahlen kann, und 

15 dadurch automatisch eine weitere Projektion des 

Bilddatensatzes erhalt, die ebenfalls wieder den Teil- 
Bilddatensatz enthalt. Die weitere Projektion muss der Nutzer 
nicht erst manuell erzeugen, in dem er eine Schnittebene in 
die urspriingliche Projektion legt. In diesem Sinne wird die 

20 Projektion des Teil-Bilddatensatzes gleichsam als aktives 

Link verwendet, dass zum Beispiel durch den Nutzer mit einer 
Maus oder einem sonstigen Zeigegerat ausgewahlt, also 
angeklickt werden kann. Die Erzeugung der zur Identif ikation 
und zur Bestimmung der Position des Teil-Bilddatensatzes 

25 benotigten Schnittbilder wird damit intuitiv gestaltet und 
vereinfacht . 

In einer vorteilhaf ten Ausgestaltung der Erfindung wird ein 
Bilddatensatz verwendet, der durch eine Fusion von mindestens 

30 zwei Ursprungs-Bilddatensatzen gebildet wurde . Damit kann die 
Navigation fur einen Nutzer insbesondere in Bilddatensatzen, 
die einen durch die Fusion erweiterten Inf ormationsgehalt 
besitzen, erleichtert werden. Der erweiterte 
Informationsgehalt wiederum kann gerade dazu dienen, 

35 mdglicherweise interessierende Teil-Bilddatensat ze 

automatisch zu identif izieren, aus denen der Nutzer dann eine 
manuelle Auswahl treffen kann. 



4 



2003P18150 US 



In einer weiteren vorteilhaf ten Ausgestaltung der Erfindung 
werden Teil-Bilddatensatze verwendet, die samtlich aus 
demselben Ursprungs-Bilddatensatz gebildet wurden. Damit 
5 konnen Usprungs-Bilddatensatze herangezogen werden, die 
besonders geeignet zur Identif ikation moglicherweise 
interessierender Teil-Bilddatensatze sind, und ein Nutzer 
weift automatisch, dass die Teil-Bilddatensatze unter den 
besonderen Aspekten des zur Identif ikation herangezogenen 
10 Ursprungs-Bilddatensat2es ausgewahlt wurden. 

In einer weiteren vorteilhaf ten Ausgestaltung der Erfindung 
werden als Ursprungs-Bilddatensat ze zumindest ein 
Bilddatensatz aus einem Computer-Tomograf ie-Verf ahren und 

15 einer aus einem Positronen-Emissions-Tomograf ie-Verf ahren 
herangezogen. Diese Kombination ist im Hinblick auf die 
medizinische Diagnostik in der Krebs-Therapie von besonderem 
Interesse, da CT-Bilddatensat ze einem Betrachter eine 
besonders gute Orientierung innerhalb der Anatomie eines 

20 Patienten ermoglichen, wahrend PET-Bilddatensatze besonders 
gut zur Identif ikation moglicherweise Krebs-gef ahrdeter 
Kbrpervolumina geeignet sind. 

Das Verf ahren ist auf einer Computer ausfuhrbar. Es kann dazu 
25 entweder auf dem Computer installiert sein, oder es kann als 
Computer-Programm-Produkt ausgebildet sein, dass eine 
Ausfiihrung oder Installation des Verfahrens auf einem 
Computer ermoglicht. 

30 Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben 
sich aus der Figuren-Beschreibung . 

Nachfolgend werden Ausf iihrungsbeispiele der Erfindung anhand 
von Figuren naher erlautert. Es zeigen: 

35 

FIG 1 Bildschirmansicht mit 2D-Projektionen eines 3D- 

Bilddatensatz, 
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FIG 2 Bildschirmansicht mit Schnittebene und Hot Spots, 

FIG 3 schematische Ansicht einer Schnittebene mit Hot 

5 Spots, 

FIG 4 Bildschirmansicht mit Schnittschicht und Hot Spots, 

FIG 5 schematische Ansicht einer Schnittschicht mit Hot 

10 Spots, 

FIG 6 schematische Bildschirmansicht mit zufalligen 

Schnittbildern, 

15 FIG 7 schematische Bildschirmansicht mit Schnittbildern 

durch Hot Spot, 

FIG 8 schematische Ansicht von zufalliger Schnittebene 

und 

20 

FIG 9 schematische Ansicht von Schnittebene durch Hot 

Spot . 



In Figur 1 ist eine Bildschirmansicht eines medizinischen 
25 Bildverarbeitungs-Arbeitsplatzes mit 2D-Pro jektionen eines 
3D-Bilddatensatz dargestellt. Es wird ein CT-Bilddatensatz 
gezeigt, der fusioniert wurde mit einem PET-Bilddatensatz . 
Die Bilddatensatze sind vorher registriert worden, das heiflt 
maftstabs- und positionsrichtig zueinander orientiert und mit 
30 alien 3D-Inf ormationen erfasst worden. Der CT-Datensatz steht 
beispielhaft fur einen Volumendatensatz der anatomische 
Information enthalt, der PET-Datensat z steht beispielhaft fur 
einen Volumendatensatz des gleichen Patienten mit 
funktionaler Information. Die dargestellte Projektion wurde 
35 mit den Rendering Verfahren VRT und MIP gewonnen, die 

beispielhaft fur jede Art von 3D Volumen-Rendering stehen, 
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und mit dem Verfahren MPR, das beispielhaft fur jede Art von 
Schnittebenen-Rendering steht . 

Die Verfahren unterstutzen zwei Formen von sogenannten 
5 Clipping Objekten: Clip Planes (Schnittebenen) sowie Slabs 
(Schnittschichten definierter Dicke) . Entsprechend dazu 
konnen die Bilder des funktionalen Datensatzes sowohl 
Schnittbilder (werden auf die Schnittebene der Clip Plane 
bzw. des Slabs abgebildet) als auch Volumenbilder sein r die 
10 dann in die Clip Plane bzw. das Slab genau wie der 

anatomische Datensatz projiziert werden. Ein Benutzer kann 
zwischen der Volumendarstellung (MIP) und der 
Schnittbilddarstellung (MPR) hin- und herschalten. 

15 Ein wichtiger Aspekt sind auch die moglichen 

Parametereinstellung der verwendeten Renderingverf ahren . Bei 
VRT konnen im CT Parameter wie Farbe, Durchsichtigkei t oder 
Gewebezuordnung jederzeit geandert werden, um die optimale 
Ansicht auf den CT Datensatz zu erreichen. Bei MPR oder MIP 

20 konnen Parameter wie Fensterung, Color LUT, Masking (d.h. 
Schwellwerte die die Sichtbarkeit von 

Inf ormationsbestandteilen bestimmen) jederzeit geandert 
werden. Insbesondere das Masking ist sehr wichtig, um die 
Darstellung moglichst nur auf die Hot Spots zu beschranken, 

25 weitere Inf ormationsbestandteile des Datensatzes, der die Hot 
Spots enthalt, jedoch auszublenden (zu „masken"), um nicht zu 
viel von der anatomischen Information des CT-Datensatzes zu 
verdecken. Aufterdem kann ein Blending Faktor, der das 
Mischverhaltnis von CT- und PET-Darstellung beschreibt 

30 eingestellt werden. Auf die verschiedenen 

Parametereinstellungen wird nachfolgend nicht weiter 
eingegangen . 

Dargestellt ist eine Bildschirmansicht 1 mit vier sogenannten 
35 Viewports 3, 4, 5, 6, also Bildschirmsegmenten, die jeweils 
unterschiedliche Schnittebenen oder Schnittschichten zeigen 
konnen. Anhand dieser unterschiedlichen Pro j ektionen, die von 
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einem Nutzer anhand der Werkzeuge und Buttons in dem 
Bildschirmsegment 7 manuell ausgerichtet und erzeugt werden 
mussen, kann ein Benutzer interessierende Teil-Bilddatensat ze 
Oder Hot Spots darstellen und deren 3D-Position ermitteln. 
5 Zur besseren Orientierung bietet Viewport 6 eine manuell zu 
bedienende Rotations-Sicht 8 des PET-Datensatzes . 

In Figur2 ist eine Bildschirmansicht 1 mit Schnittebene und 
Hot Spots in einem wiederum aus CT- und PET-Daten 

10 fusionierten Datensatz dargestellt. Der Bildschirm 1 zeigt 
nur einen einzigen Viewport 11, in dem ein Schnittbild durch 
den fusionierten Bilddatensatz strichliert angedeutet ist. 
Die Projektion im Viewport 11 umfasst einen Hot Spot, der als 
optisch hervorgehobener Bildteil im Bauchraum des 

15 abgebildeten Pat ientenkorpes erkennbar ist. Der 

hervorgehobene Bildteil kann durch einen Nutzer z.B. durch 
Mausklick ausgewahlt werden, urn weitere Bildschirmansichten 
zu erzeugen. Weitere manuelle Aktionen eines Nutzers werden 
nicht erf orderlich, daher enthalt das Bildschirmsegment 7 nur 

20 eine reduzierte Anzahl von Buttons und Werkzeugen. 

In Figur 3 ist die Projektion aus der vorangehenden Abbildung 
schematisch dargestellt. Sie zeigt die Schnittebene 13 durch 
den fusionierten Bilddatensatz, der aus einer Projektion des 

25 CT-Datensatz 14 und des PET-Datensatzes 15 besteht. Innerhalb 
des PET-Datensatzes 15 sind Hot Spots 19 fur einen Nutzer 
erkennbar optisch hervorgehoben, z.B. durch besonders helle 
oder auffallige Farbgebung. Die dargestellte Schnittebene 13 
ist so positioniert und orientiert, dass ein Nutzer die Hot 

30 Spots 19 sehen kann. Die Visualisierung der Hot Spots 19 ist 
in Art funktionalisiert , dass der Nutzer einen davon manuell 
auswahlen kann, z.B. durch anklicken mit einer Maus. Die Hot 
Spots 19 liegen verhaltnismaftig dicht beieinander und sind 
daher nicht durch ein automatisiertes Verfahren zu 

35 analysieren. 
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In den Figuren 4 und 5 sind Darstellungen analog zu den 
vorangehenden Figuren 2 und 3 unter Verwendung der selben 
Bezugszeichen abgebildet. Anstelle einer Schnittebene (Clip 
Plane) ist jedoch eine Schnittschicht 16 (Slab) dargestellt, 
5 erkennbar an der Darstellung in Figur 5 als Hasten. Im 

ubrigen wird auf die Beschreibung der vorangehenden Figuren 
Bezug genommen. 

In Figur 6 ist eine Bildschirmsicht 1 mit vier Viewports 3, 
10 4, 5, 11 schematisch dargestellt. Der Viewport 11 zeigt 
entsprechend der vorangehenden Beschreibung eine 
f unktionalisierte Projektion in so fern, als ein Nutzer die 
Hot Spots 19 in der Schnittebene 13 z.B. durch Mausklick 
auswahlen kann. Die Viewports 3, 4, 5 zeigen Schnittbilder 
15 14, 15 des fusionierten Datensatzes in zufallig gewahlten 
Schnittebenen, die nicht die Hot Spots 19 enthalten. Diese 
sind nur in dem Schnittbild 17 in der Schnittebene 13 
enthalten. Fur eine exakte Lokalisation der Hot Spots 19 muss 
eine Darstellung gewahlt werden, die die Hot Spots 19 auch in 
20 den weiteren, unterschiedlichen Projektionen in den Viewports 
3, 4, 5 zeigt. 

Dazu wahlt der Benutzer zunachst eine der oben beschriebenen 
Darstellungsf ormen aus, um eine optimale Ansicht auf die Hot 

25 Spots 19 zu bekommen. Auf dem Viewport 11 ist ein raumliches 
Drehen in die richtige Ansicht und ein Verschieben der 
Schnittebene 13 moglich, um in den Hot Spot 19 zu 
fokussieren. Auf diesem Navigationsbild wird indirekt 3D- 
Tief eninf ormation bereitgestellt, die es moglich macht mit 

30 einem Mausklick den Hot Spot 19 zu selektieren. Durch einen 
Mausklick auf den Hot Spot 19 wird das so genannte Volume 
Picking ausgelbst, das die Bildschirmsicht 1 fur den Benutzer 
automatisch auf den Hot Spot 19 fokussiert. Zum einen wird 
die Clip Plane 13 oder gegebenenf alls der Schwerpunkt des 

35 Slabs im Viewport 11 in der Fusionsdarstellung in den 

angewahlten Hot Spot 19 verschoben, zum anderen werden alle 
sonstigen angezeigten Biider in den anderen Viewports 3, 4, 
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5 auf dem Bildschirm ebenfalls in den Hot Spot 19 verschoben. 
Damit wird fur den Nutzer automatisch eine zur 
Identif izierung der Hot Spots 19 optimale Bildschirmsicht 1 
erzeugt, ohne dass er manuell in alien Viewports 3, 4, 5 in 
5 Drehwinkel und Tiefe geeignete Projektionen einstellen 

miisste. Im Ergebnis des Volume Pickings werden die Bilder aus 
den Viewports 3, 4, 5 in den ausgewahlten Hot Spot 19 
verschoben, ebenso die Schnittebene 13 in dem Viewport 11. 
Der Hot Spot 19 kann also sehr einfach in dem Viewport 11 
10 gesucht werden, und dann konnen mit einem Mausklick alle vier 
Viewports 3, 4, 5, 6 auf den Hot Spot 19 fokussiert werden. 

In Figur 7 ist die als Ergebnis des Volume Picking erhaltene, 
im Hinblick auf den vom Nutzer ausgewahlten Hot Spot 19 
optimierte Bildschirmsicht 1 unter Verwendung der selben 
Bezugszeichen wie in der vorangehenden Figur dargestellt. Die 
Schnittebene 13 im Viewport 11 ist so positioniert , dass das 
Schnittbild 17 eine Projektion samt Hot Spot 19 zeigt. Die 
restlichen Bilder zeigen nun andere sich gegenseitig 
ref erenzierende Schnittbilder entweder eines einzelnen oder 
der fusionierten Datensatze, die ebenfalls jeweils den Hot 
Spot 19 enthalten. Die Schnittbilder ref erenzieren sich 
gegenseitig, was durch Markierungslinien A, B, C angedeutet 
ist, die durch alle Viewports 3, 4, 5 hindurch jeweils durch 
den ausgewahlten Hot Spot 19 verlaufen. Damit ist der Hot 
Spot 19 lokalisiert und fur den Nutzer optimal einsehbar 
dargestellt . 

In den Figuren 8 und 9 ist der Vorgang des Fokussierens, der 
30 in den vorangehenden Figuren 6 und 7 in Bezug auf den 

dortigen Viewport 11 erlautert wurde, noch mal illustriert. 
In Figur 8 ist das Schnittbild des fusionierten 
Bilddatensatzes 14, 15, der einen Hot Spot 19 enthalt, 
dargestellt. Die Schnittebene 13 ist zufallig positioniert 
35 und enthalt keine Projektion des Hot Spots 19. In Figur 9 
wurde die Schnittebene 13 so verschoben, dass sie den Hot 
Spot 19 schneidet und eine Projektion 17 des fusionierten 
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Bilddatensatzes beinhaltet. 
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Zusammen fas sung 

Bezeichnung der Erfindung / Title of the invention 

5 Die Erfindung betrifft ein Verfahren zur Navigation in 3- 
dimensionalen elektronischen Bilddatensat zen, wobei die 
Bilddatensatze 3-dimensionale Teil-Bilddatensatze enthalten, 
umfassend die Verf ahrensschritte : 

- Optisches Darstellen von mindestens einer 2-dimensionalen 
10 Projektion eines Bilddatensatzes, die eine 2-dimensionale 

Teil-Projektion von mindestens einem Teil-Bilddatensatz 
umf asst , 

- Optisches Hervorheben der mindestens einen 2-dimensionalen 
Teil-Projektion, 

15 - Empfangen einer auf die Auswahl einer bestimmten Teil- 
Projektion gerichteten Nutzer-Eingabe, 

- in Abhangigkeit von der Nutzer-Eingabe optisches Darstellen 
von mindestens einer weiteren 2-dimensionalen Projektion 
des Bilddatensatzes, die eine 2-dimensionale Projektion des 

20 ausgewahlten Teil-Bilddatensatz umf asst. 

Das Verfahren kann fur einen Bilddatensat z verwendet werden, 
der durch eine Fusion von mindestens zwei Ursprungs- 
Bilddatensatzen gebildet wurde. Die Ursprungs-Bilddatensatze 
konnen insbesondere einen Computer-Tomograf ie- und einen 

25 Pos itronen-Emissions-Tomogra fie- Bilddatensat z umf as sen . 

FIG 7 
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